While federated learning has shown strong results in optimizing a machine learning model without direct access to the original data, its performance may be hindered by intermittent client availability which slows down the convergence and biases the final learned model. There are significant challenges to achieve both stable and bias-free training under arbitrary client availability. To address these challenges, we propose a framework named Federated Graph-based Sampling (FedGS), to stabilize the global model update and mitigate the long-term bias given arbitrary client availability simultaneously. First, we model the data correlations of clients with a Data-Distribution-Dependency Graph (3DG) that helps keep the sampled clients data apart from each other, which is theoretically shown to improve the approximation to the optimal model update. Second, constrained by the far-distance in data distribution of the sampled clients, we further minimize the variance of the numbers of times that the clients are sampled, to mitigate long-term bias. To validate the effectiveness of FedGS, we conduct experiments on three datasets under a comprehensive set of seven client availability modes. Our experimental results confirm FedGS's advantage in both enabling a fair client-sampling scheme and improving the model performance under arbitrary client availability. Our code is available at \url{https://github.com/WwZzz/FedGS}.

Image super-resolution is a common task on mobile and IoT devices, where one often needs to upscale and enhance low-resolution images and video frames. While numerous solutions have been proposed for this problem in the past, they are usually not compatible with low-power mobile NPUs having many computational and memory constraints. In this Mobile AI challenge, we address this problem and propose the participants to design an efficient quantized image super-resolution solution that can demonstrate a real-time performance on mobile NPUs. The participants were provided with the DIV2K dataset and trained INT8 models to do a high-quality 3X image upscaling. The runtime of all models was evaluated on the Synaptics VS680 Smart Home board with a dedicated edge NPU capable of accelerating quantized neural networks. All proposed solutions are fully compatible with the above NPU, demonstrating an up to 60 FPS rate when reconstructing Full HD resolution images. A detailed description of all models developed in the challenge is provided in this paper.

基于文本的视觉问题回答〜（TextVQA）旨在为具有多个场景文本的图像问题提供正确的答案。在大多数情况下，文本自然附着在物体表面上。因此，文本和对象之间的空间推理在文本VQA中至关重要。但是，现有方法在从输入图像中学到的2D空间信息中受到限制，并依靠基于变压器的体系结构在融合过程中隐含地推理。在此设置下，这些2D空间推理方法无法区分同一图像平面上的视觉对象和场景文本之间的细颗粒空间关系，从而损害了TextVQA模型的可解释性和性能。在本文中，我们将3D几何信息引入了类似人类的空间推理过程，以逐步捕获关键对象的上下文知识。 ％我们通过引入3D几何信息来捕获关键对象的上下文知识来制定类似人类的空间推理过程。为了增强模型对3D空间关系的理解，特别是（i）〜我们提出了一个关系预测模块，以准确定位关键对象的关注区域； （ii）〜我们设计了一个深度感知的注意校准模块，以根据关键对象校准OCR令牌的注意力。广泛的实验表明，我们的方法在TextVQA和ST-VQA数据集上实现了最先进的性能。更令人鼓舞的是，我们的模型在涉及TextVQA和ST-VQA有效拆分中的空间推理的问题上以5.7 \％和12.1 \％的明显边缘超过了他人。此外，我们还验证了模型对基于文本的图像字幕任务的普遍性。

本文回顾了AIM 2022上压缩图像和视频超级分辨率的挑战。这项挑战包括两条曲目。轨道1的目标是压缩图像的超分辨率，轨迹〜2靶向压缩视频的超分辨率。在轨道1中，我们使用流行的数据集DIV2K作为培训，验证和测试集。在轨道2中，我们提出了LDV 3.0数据集，其中包含365个视频，包括LDV 2.0数据集（335个视频）和30个其他视频。在这一挑战中，有12支球队和2支球队分别提交了赛道1和赛道2的最终结果。所提出的方法和解决方案衡量了压缩图像和视频上超分辨率的最先进。提出的LDV 3.0数据集可在https://github.com/renyang-home/ldv_dataset上找到。此挑战的首页是在https://github.com/renyang-home/aim22_compresssr。

延时摄影是在电影和宣传电影中使用的，因为它可以在短时间内反映时间的流逝并增强视觉吸引力。但是，由于需要很长时间才需要稳定的射击，因此对摄影师来说是一个巨大的挑战。在本文中，我们提出了一个带有虚拟和真实机器人的延时摄影系统。为了帮助用户有效拍摄延时视频，我们首先参数化延时摄影并提出参数优化方法。对于不同的参数，使用不同的美学模型，包括图像和视频美学质量评估网络，用于生成最佳参数。然后，我们提出了一个延时摄影界面，以促进用户查看和调整参数，并使用虚拟机器人在三维场景中进行虚拟摄影。该系统还可以导出参数并将其提供给真实的机器人，以便可以在现实世界中拍摄延时视频。此外，我们提出了一种延时摄影美学评估方法，该方法可以自动评估及时视频的美学质量。实验结果表明，我们的方法可以有效地获得延时视频。我们还进行了用户研究。结果表明，我们的系统具有与专业摄影师相似的效果，并且更有效。

在本文中，我们在CVPR 2022中提供了EGO4D自然语言查询挑战的技术报告。由于对视频内容的全面了解，自然语言查询任务是具有挑战性的。大多数以前的工作基于第三人称视图数据集解决了此任务，而在以自我为中心的视图中，很少有研究兴趣。不过，已经取得了巨大进展，我们注意到以前的作品无法很好地适应以自我为中心的视图数据集，例如，ego4d主要是因为两个原因：1）ego4d中的大多数查询都有很小的时间持续时间（例如，少于5秒钟）；2）EGO4D中的查询面临着对长期时间订单的更复杂的视频理解。考虑到这些，我们建议解决这一挑战的解决方案，以解决上述问题。

手术场景细分对于促使机器人手术的认知援助至关重要。但是，以逐帧方式以像素为单位的注释视频是昂贵且耗时的。为了大大减轻标签负担，在这项工作中，我们从机器人手术视频中研究了半监督的场景细分，这实际上是必不可少的，但以前很少探索。我们考虑在等距采样下的临床上适当的注释情况。然后，我们提出了PGV-CL，这是一种新型的伪标签引导的跨视频对比学习方法，以增强场景分割。它有效地利用了未标记的数据来实现可信赖和全球模型的正则化，从而产生更具歧视性的特征表示。具体来说，对于可信赖的表示学习，我们建议合并伪标签以指导对选择，从而获得更可靠的代表对像素对比度。此外，我们将代表学习空间从以前的图像级扩展到交叉视频，该图像可以捕获全球语义以使学习过程受益。我们广泛评估了公共机器人手术数据集Edovis18和公共白内障数据集Cadis的方法。实验结果证明了我们方法的有效性，在不同的标签比下始终超过了最先进的半监督方法，甚至超过了10.1％标签的destovis18上的全面监督培训。

密集的视频字幕旨在为未修剪视频中的一系列事件生成相应的文本描述，这些事件可以分为两个子任务，即事件检测和事件字幕。与以前分别解决这两个子任务的作品不同，最近的作品着重于增强两个子任务之间的任务间关联。但是，由于其特定于任务的解决方案的巨大差异，设计用于事件检测和字幕的任务间相互作用并不是微不足道的。此外，以前的事件检测方法通常会忽略事件之间的时间依赖性，从而导致事件冗余或不一致问题。在本文中，我们将事件检测定义为序列生成任务，并提出一个统一的预训练和微调框架，以自然增强事件检测和字幕之间的任务间关联。由于该模型将每个事件预测为以前的事件为上下文，因此事件之间的相互依赖性被充分利用，因此我们的模型可以检测到视频中更多样化和一致的事件。 ActivityNet数据集上的实验表明，我们的模型优于最新方法，并且在对大型视频文本数据进行预训练时，可以进一步提高。代码可在\ url {https://github.com/qiqang/uedvc}上获得。

事实证明，多模式文档预训练的模型在各种视觉上富裕的文档理解（VRDU）任务中非常有效。尽管现有的文档预先培训模型在VRDU的标准基准上取得了出色的性能，但它们建模和利用文档上的视觉和语言之间的互动的方式阻碍了他们无法获得更好的概括能力和更高的准确性。在这项工作中，我们主要从监督信号的角度研究了VRDU视觉联合表示学习的问题。具体而言，提出了一种称为BI-VLDOC的预训练范式，其中设计了双向视觉监督策略和视觉性混合注意机制，以完全探索并利用这两种方式之间的相互作用，以学习更强的交叉交叉方式 - 具有更丰富语义的模式文档表示。 Bi-Vldoc受益于学习丰富的跨模式文档表示形式，显着提高了三个广泛使用文档的最新性能，理解基准，包括形式的理解（从85.14％到93.44％），收据信息提取（从96.01％到97.84％）和文档分类（从96.08％到97.12％）。在文档视觉质量检查中，BI-VLDOC与以前的单个模型方法相比，实现了最先进的性能。

通常通过过去的选择来告知机器学习中的评估，例如要使用哪些数据集或指标。该标准化可以使用排行榜对平等基础进行比较，但是随着出现更好的替代方案，评估选择变得不佳。这个问题在自然语言生成中尤其相关，该语言需要不断改善的数据集，指标和人类评估以提出确定性的主张。为了使遵循最佳模型评估实践更加容易，我们介绍了GEMV2。新版本的一代，评估和指标基准为数据集，模型和指标开发人员提供了模块化基础架构，以使彼此受益。GEMV2支持40种记录的数据集中51种语言。所有数据集的模型都可以在线评估，我们的交互式数据卡创建和渲染工具使得在Living Benchmark中添加新数据集变得更加容易。